Корректно с тире: Как освоить два разных направления: виртуальную/дополненную реальность и искусственный интеллект – в рамках одной магистратуры?
Употребительно: ИИ (как аббревиатура). При сокращении значимых частей слов до слогов следует писать строчными: искин.
Нет оснований писать эти термины с большой буквы. Рекомендуем писать строчными буквами и без кавычек: большие данные, искусственный интеллект, машинное обучение. Кавычки могут использоваться в случае, если термин употребляется на русском языке впервые (или очень недолго) и неизвестен читателям текста.